ISSN electrónico: 2172-9077
DOI: https://doi.org/10.14201/fjc.28303

CINE DE REALIDAD AUMENTADA: REFORMULACIÓN DEL APARATO CINEMATOGRÁFICO: ESTUDIO DE CASO DE A JESTER’S TALE

Augmented Reality Cinema. Reformulation of the Cinematographic Apparatus: a Jester's Tale Case Study

Dr. Francisco-Julián MARTÍNEZ-CANO

Profesor Ayudante Doctor, Universidad Miguel Hernández, España

E-mail: francisco.martinezc@umh.es

https://orcid.org/0000-0001-8551-3144

Dr. José-Manuel LÓPEZ-AGULLÓ PÉREZ-CABALLERO

Profesor Universidad Privada, ESIC Business & Marketing School, España

E-mail: josemanuel.lopezagullo@esic.es

https://orcid.org/0000-0002-8791-5179

Dda. Eva HERNÁNDEZ-MARTÍNEZ

Personal Investigador en Formación, Universidad Complutense de Madrid, España

E-mail: evhern01@ucm.es

https://orcid.org/0000-0003-3852-1832

Fecha de recepción del artículo: 29/01/2022
Fecha de aceptación definitiva: 11/03/2021

RESUMEN
La aparición de las tecnologías inmersivas y el registro de la imagen volumétrica están dando lugar a innovadoras producciones de ficción audiovisual de realidad aumentada (RA). Atendiendo a esta reformulación del dispositivo narrativo audiovisual y con el objetivo de examinar las derivas tecnológicas e ideológicas de estas prácticas cinematográficas inmersivas, resulta necesario profundizar en aquellas cuestiones clave sobre el aparato cinematográfico en evolución. Desde una perspectiva cualitativa, se realizó una primera fase de revisión bibliográfica a la que siguió un estudio de caso del filme volumétrico de realidad aumentada A Jester´s Tale (Malik, 2019), estructurado en dos bloques. El primero de entrevistas semiestructuradas al autor y el segundo de análisis de la obra objeto de estudio a través de un modelo propio. Se demuestra la reconfiguración del aparato cinematográfico en el contexto de la RA. Además, es notoria la diferencia en cuanto a su producción y consumo respecto a los procedimientos del cine convencional, donde la capa de interactividad cobra especial relevancia. Se observa, también, una estrategia de fracturación de la focalización del relato, que genera dos tipos de espectador, el que es interpelado e interactúa y el espectador invisible. Finalmente, se identifica la narrativa como tecnología primera en tensión interna con las derivas tecnológicas del dispositivo audiovisual.

Palabras clave: aparato cinematográfico; cine volumétrico; espectador; realidad aumentada; narrativa.

ABSTRACT
The emergence of immersive technologies and the recording of volumetric images are giving rise to innovative augmented reality (AR) audiovisual fiction productions. In response to this reformulation of the audiovisual narrative device and with the aim of examining the technological and ideological drifts of these immersive cinematic practices, it is necessary to explore in depth the key aspects of the evolving cinematic apparatus. From a qualitative perspective, a first phase of literature review was followed by a case study of the volumetric augmented reality film A Jester's Tale (Malik, 2019), structured in two blocks. The first consists of semi-structured interviews with the author and the second of an analysis of the work through a proprietary model. The reconfiguration of the cinematic apparatus in the context of AR is demonstrated. Moreover, the difference in its production and consumption with respect to conventional cinema procedures, where the interactivity layer is particularly relevant, is significant. A strategy of fracturing the focalisation of the narrative is also observed, which generates two types of spectators, the ones who are questioned and interact and the invisible spectators. Finally, narrative is identified as a primary technology in internal tension with the technological drifts of the audiovisual device.

Keywords: cinematographic apparatus; volumetric cinema; spectator; augmented reality; storytelling.

1. Introducción

La creación y consumo de contenidos audiovisuales ha venido definida por los desarrollos tecnológicos que posibilitan el registro de la imagen en movimiento. Esta evolución atiende a la convergencia mediática y técnica sobre la que se sustenta la concepción del aparato cinematográfico. En este sentido, podemos pensar el cine como un dispositivo técnico en constante mutación. Partimos de la clasificación de Las tres eras de la imagen de José Luis Brea (2010), que distingue entre imagen materia, filme y e-imagen. En su catálogo, el «ojo técnico» de la imagen filme es observado como un aparato inconsciente de producción de imágenes en superficie (liberadas de toda profundidad, de toda superficie material).

Una primera transformación tiene que ver con la pérdida de profundidad de campo de la totalidad de lo visto: en lo que el ojo técnico captura y reproduce no hay otra cosa que la pura imagen, y ella asciende ahora a la superficie plana de la representación, abandonando cualquier invocación de profundidad, de interioridad, y entregada a un concienzudo asalto de la pura exterioridad. Hay una total planitud –una puesta en superficie radical, paralela al propio separarse físico de la materia misma– en las imágenes fílmicas, producidas por el trabajo combinado de los dispositivos ópticos propios del ojo técnico y las tecnologías de reproducción fotoquímicas. Quien aquí ve no es ya un sujeto capaz de reflexividad –capaz de ver lo que ve, digamos– sino un aparato ciego, un inconsciente óptico (Brea, 2010, p. 37).

Esta tecnificación de lo visual gira en torno a la intención de imitar al ojo humano por parte del registro de la imagen en movimiento. Imitación, por otro lado, sujeta a una serie de convenciones estilísticas y narrativas. Frente a la evolución del medio audiovisual a través de las tecnologías inmersivas es necesario el desarrollo de convenciones específicas para el audiovisual de realidad aumentada (RA) y de realidad virtual (RV), que aplican en la actualidad los procedimientos del cine volumétrico capaces de generar un registro tridimensional de actrices y actores, situándolos en la puesta en escena virtual o aumentada.

Al igual que Brea, otros autores como Gervereau sitúan las etapas de la evolución de la imagen en relación al soporte («era del papel, de la proyección o de la pantalla») o Debray, que la distribuye en regímenes según la experiencia de consumo («del ídolo, del arte y de lo visual») (Villegas, 2015, p. 180). El siguiente paso en estos sistemas de clasificación de la imagen se erige desde la «condición fantasmal» (Brea, 2010, p. 67) del nuevo registro volumétrico, pues este prescinde del soporte pantalla para su mostración y además es capaz de sobreimprimirse al espacio real a través de los dispositivos inmersivos aumentados. Esta característica ayuda a la convergencia interdisciplinar de diferentes medios de expresión en la construcción de las narrativas de RA, como pueden ser la escultura, la instalación o la danza. Al mismo tiempo, convierte estas obras en experiencias estéticas efímeras sin capacidad de coleccionarse. Por tanto, estas creaciones de la imagen inmersiva aumentada aúnan los regímenes de Debray, fomentando un nuevo paradigma de creación y consumo de la ficción audiovisual, al tiempo que heredan la interdisciplinariedad de los orígenes del cine, partiendo de las fantasmagorías, técnicas para la creación de la ilusión de la imagen en movimiento (Gaspard et al., 2021).

En cuanto a la aplicación de la RA a la técnica cinematográfica, podemos decir que la RA se encuentra en el marco de la realidad extendida (RX), «definida como conjunto de realidades generadas con medios digitales y combinadas con componentes del espacio real» (Rubio Tamayo, 2019, p. 399), junto con la RV y la realidad mixta (RM) (Akçayir et al., 2016). La RA sobreimprime los contenidos audiovisuales virtuales sobre el entorno de percepción espacial del usuario, a través de un dispositivo HMD (head mounted display) que funciona como unas gafas convencionales, permitiendo ver el entorno físico e implementa las capas virtuales (imagen volumétrica a modo de holograma) sobre el contexto visual real que percibe y donde está situado el espectador. En su definición se incluyen tres características principales:

[…] augmented reality (AR) can be defined as «a real world context that is dynamically overlaid with coherent location or context sensitive virtual information» (Klopfer & Squire, 2008, p. 205). AR has three main characteristics: (a) a combination of virtual and real objects in a real setting, (b) people working interactively in real time, and (c) an alignment between real and virtual objects (Azuma et al., 2001) (Akçayir et al., 2016, p. 334).

Estas tecnologías inmersivas se usan en la actualidad de una manera más extensiva a través de dispositivos móviles como smartphones y tablets (Wu et al., 2013), ya que incorporan hardware cada vez más potente a precios más asequibles, con lo que se facilita el uso y aplicación de esta tecnología sin necesidad de hardware electrónico de alta gama como pueden ser los visores HMD. Aunque las primeras aplicaciones han estado vinculadas a diferentes áreas como la educación o la salud, su uso como herramienta de creación cinematográfica se intensifica en la actualidad, posterior a la aparición y desarrollo, a partir de 2018, de las técnicas de captura volumétrica. La imagen volumétrica reproduce el volumen tridimensional del referente e incorpora la textura fotográfica del mismo, por lo que este nuevo medio de producción y consumo podría servir a la industria del cine, los videojuegos o las artes escénicas para introducir un nuevo hito dentro de su evolución. Los hologramas sobreimpresos otorgan a la audiencia un control constante sobre el punto de vista del continuo-tiempo en el espacio diegético y a su vez la posibilidad de interactuar en el devenir de los acontecimientos de la ficción (MacIntyre et al., 2001, p. 3).

Las convenciones fílmicas de la RA, su práctica y las expectativas de la audiencia están evolucionando (MacIntyre et al., 2001, p. 3), por lo que es necesario continuar con su estudio y experimentación. Esto puede dar como resultado nuevas formas y convenciones tanto desde la perspectiva experiencial como de la simbólica (Manovich, 2005). Estas cuestiones conectan directamente con los tipos de realismo cinematográfico, estructurados por Bazin (1966) en tres categorías: el realismo ontológico, el realismo dramático y el realismo psicológico. El primero versa sobre la densidad existencial y la presencia efectiva de los elementos que componen la escena. El realismo dramático es el resultado de la coordinación de los elementos en profundidad de campo con los elementos ubicados en el primer plano. Por último, las condiciones de percepción del espectador marcarán el realismo psicológico. Estas, al depender del propio usuario, resultan en experiencias personales diferentes en cada caso.

En esta línea, Steven Heath (1981) añade una cuarta categoría a las propuestas por Bazin (Ma y Choi, 2007, p. 35), la impresión de realidad, que conecta directamente con la idea de suspensión de la incredulidad (Bates, 1992), acuñada por el poeta Samuel Taylor Coleridge a principios del siglo XIX. Esta se incorpora como base para el efecto presencia (Heeter, 1992; Mateer, 2017) junto a la consecución de la inmersión por parte del espectador en el relato audiovisual. Del mismo modo, Bucher establece una continuidad en la combinación de las técnicas cinematográficas y los principios inmersivos de estos medios, resultando en experiencias audiovisuales de gran impacto en la audiencia (2017, p. 6). Los medios inmersivos son capaces de potenciar el engagement a través del punto de vista del usuario: «the dramatic tension of whether the viewer will be acknowledged as being present is a main driving force for the drama experienced in the scene» (Cho et al., 2016), lo que incorpora el desafío relacionado con la dificultad de dirigir la mirada del espectador, factor clave para la comprensión narrativa (Syrett, Calvi y Van Gisbergen, 2017). Estas cuestiones aplican de igual modo tanto a las convenciones del cine tradicional como a las del cine de RA, por lo que sirven de punto de partida para establecer las variables que conformarán el modelo de análisis para producciones audiovisuales de ficción con RA.

2. Objetivos e hipótesis

La llegada de la RA pone a examen el dispositivo audiovisual con una serie de cambios técnicos en cascada –por ejemplo, con el uso de dispositivos HMD que construyen un nuevo modo de espectador inmerso en el relato fílmico al mismo tiempo que habita la realidad y que alteran, en consecuencia, su tradicional posición «al otro lado» de la imagen en movimiento– que inevitablemente condicionan el modo de contar historias. ¿De qué modo evoluciona la práctica cinematográfica a través de la RA? ¿Cómo se ve alterado el aparato cinematográfico tanto desde el punto de vista de la producción como del consumo de las narrativas audiovisuales inmersivas de RA?

El objetivo de la presente investigación es examinar las derivas tecnológicas e ideológicas que acompañan al dispositivo audiovisual en evolución a partir del estudio de caso de la obra A Jesters’s Tale (Malik, 2019). Nuestra misión es hacer hablar al cine desde su tecnología, pero no solo como el conjunto de avances encaminados a la perfección del espectáculo cinematográfico, sino como el lugar en que conviven una serie de contradicciones internas propias de una tecnología heteróclita como es la audiovisual. Por ello, se hace necesario repensar el hecho cinematográfico tradicional y su aplicación a los medios inmersivos emergentes, tratando de identificar las características diferenciales de estas primeras producciones de ficción inmersivas de RA, con las que se inicia la construcción de las convenciones de su lenguaje.

3. Metodología

El presente análisis se fundamenta en una metodología cualitativa que incorpora el estudio de caso de A Jester´s Tale (Malik, 2019), llevado a cabo en dos bloques. El primero incluye una serie de entrevistas semiestructuradas al autor sobre la obra objeto de estudio, Assad J. Malik, realizadas durante el mes de agosto y la primera semana de septiembre de 2020. En el segundo, se ha desarrollado una herramienta de análisis (tabla 1), utilizada para el estudio de esta obra audiovisual. Este modelo de análisis fue diseñado y empleado previamente para el estudio de Terminal 3 (Malik, 2018), del mismo autor, pionero de la aplicación de RA para la creación de narrativas audiovisuales inmersivas, considerado el primer documental de realidad aumentada e interactivo, cuyo análisis se recoge en el texto Volumetric filmmaking, new mediums and formats for digital audiovisual storytelling (Martínez-Cano, 2020) ¹. La selección del objeto de estudio se justifica en la continuación de la investigación de la producción de este autor, única en el ámbito de la práctica cinematográfica y en su complejidad, tanto de su diseño como de su fruición, debido entre otras cuestiones a la interdisciplinariedad de la que se nutre en su construcción.

Este modelo se compone principalmente de tres bloques contenedores de las variables que consideramos relevantes para este tipo de producción. En el primero se incluyen las cuestiones relativas al aparato fílmico: aspectos relacionados con la cámara, el punto de vista, movimientos, dirección de la atención, producción de sonido, edición y montaje. El segundo versa sobre el concepto de presencia (Mateer, 2017), en el que se evalúa si la presencia de la obra objeto de estudio puede considerarse como presencia social, presencia ambiental o presencia personal (Heeter, 1992: 263-264). En este mismo bloque se evalúan también las reglas de interacción; si existe o no navegación, así como el tipo de movimientos dentro del entorno virtual, según consideran Slater y Wilbur en relación con la consecución de presencia efectiva (1997). En el tercer bloque se tratan las cuestiones relativas a la narrativa, en cuanto a estructura y punto de vista, desde la focalización, ocularización y auricularización (Jost y Gaudreault, 1995).

4. Resultados

Desde la perspectiva del autor, estamos ante una experiencia visceral cercana a la materialización de un sueño a través de la RA, una pieza próxima al videoarte, que construye una narrativa abstracta en conexión directa con la obra experimental de Maya Deren Meshes of the Afternoon (1943), en la que la disrupción temporal, las transgresiones de la experiencia del tiempo y el espacio y el recurso del sueño son elementos clave.

4.1 Descripción de la obra

Esta pieza audiovisual, a caballo entre el test de Turing y una obra propia del teatro del absurdo, tiene una fuerte carga existencialista y cuestiona la naturaleza propia del ser humano y su reflejo ante la inteligencia artificial. Producida por 1Ric (https://1ric.com/), un estudio que desarrolla exclusivamente piezas de RA, fue estrenada en el Festival de Cine de Sundance 2019 e introduce al espectador durante 12 minutos en el dormitorio de un niño de nueve años. Los mecanismos narrativos de Terminal 3, primera de las obras de este autor, y A Jester’s tale son similares: el espectador es un personaje más, forma parte de los personajes de la obra e interviene con una entidad conversacional (IA) con la que dialoga, pero divergen en cuanto a la posición que ocupa. La pieza está estructurada con escenas donde el agente o entidad hace preguntas y pide al espectador determinadas acciones, en un escenario poblado por un niño, una madre, la Reina Rata y sus ratas (Figura 1).

Starting Point: La experiencia comienza en la habitación de un niño con una cama, una mesa y deberes sin terminar. Cuando el usuario se pone el dispositivo de visión se le pide (I1) que diga que entiende que se utilizará su voz para realizar la experiencia. Después del reconocimiento de voz, la primera cosa que ve el usuario es un captcha recognition que le pide una vez más que levante los pulgares confirmando que no es un robot (I2). A continuación del reconocimiento de la mano, aparece un icono que parece estar cargando y gira enfrente del usuario, y le pide que diga a viva voz: «no soy un robot» (I3). Cuando esto sucede, el icono transita de 2D a 3D.

Acto I: Este icono se aleja y empieza a girar, dando lugar a una nube de partículas que hablará y acompañará al usuario durante el resto de la experiencia. Esta entidad anuncia al usuario que es del departamento de integridad digital, y le propone que a lo largo de la experiencia se dedicará a averiguar si es humano o no. La entidad hace unas preguntas (I4) que el usuario debe responder de forma rápida. Cuando este llega a responder con la palabra llave-clave (key), la entidad le pide que se levante y abra un cajón (I5). Allí encuentra una llave que se le pide que guarde para más adelante (I6). Tras esto, la entidad comienza a girar y transiciona a la siguiente escena.

Acto II: Aparece un niño sentado en la cama que gira la cabeza para mirar al usuario allí donde esté; el holograma mira sorprendido a este, y le dice estar esperando a su madre. El niño habla al espectador hasta que su voz se empieza a transformar en la voz de la entidad y se transiciona de nuevo hacia esta, desapareciendo el niño de la escena. La entidad pregunta al usuario: ¿crees que el niño es tu amigo? Tras responder (I7), el usuario vuelve a la escena que había abandonado. Se oyen pasos, la madre del niño parece haber llegado. El niño está enfadado porque su madre trabaja demasiado –llega tarde–, pero esta comienza a contarle un cuento y el niño atiende a la historia. En este punto el espectador-usuario escucha junto al niño el cuento materno cuyo protagonista es un bufón. Ella se da cuenta que el niño se ha quedado dormido y cuando se levanta para irse da un grito. Ha visto en el suelo algo que pronto se disuelve en la nube de partículas emergiendo la inteligencia artificial otra vez.

Acto III: La entidad vuelve a hacer más preguntas al usuario (I8). De nuevo, en la habitación del niño, este se levanta y mira al usuario, «todavía estás aquí, te voy a enseñar algo chulo», le dice. El niño coge la jaula con ratas y la pone encima de su cama; hay tres roedores dentro, haciendo ruido y mordiendo los barrotes. El niño explica al usuario que las ratas son sus amigas; hay una cuarta rata fuera de la jaula y el niño propone reunirlas a todas. Invita así al usuario a abrir la caja para lo cual cuenta con una llave (que había encontrado previamente en el cajón) que encaja perfectamente en la cerradura de la jaula. Cuando el usuario introduce esta llave real en la jaula virtual (I9) esta última cae al suelo, liberando a las ratas que salen y atacan a la que estaba fuera, matándola de forma sangrienta. El niño parece estar tranquilo, pero tras el escándalo la madre entra de nuevo enfadada por la situación. Se sienta con el niño y cogiendo la rata muerta en la mano le dice: «te estabas encariñando mucho de ellas y es bueno que esto haya pasado». La escena se disuelve.

Monólogo: Este inserto dentro de la experiencia incluye un monólogo en el que el holograma de la Reina Rata da un discurso a sus ratas. En este las anima a hacer pagar a los humanos por sus malos tratos y por el encierro al que les han sometido.

Desenlace: La entidad vuelve y anuncia al usuario que las ratas no están contentas y quieren cobrarse una vida humana en compensación, por lo que tiene que decidir quién será la víctima de las ratas, él mismo o el niño. En ese momento una portezuela se abre mostrando en su interior al niño real –ya no holograma– que se ha visto previamente como holograma. El usuario tiene que tomar una decisión (I10). El fin de la experiencia siempre será el mismo, independientemente de la respuesta del usuario: la experiencia ha sido fallida. No hay créditos.

4.2 Aplicación del modelo de análisis

Entremezcladas con estos segmentos narrativos, las apariciones de la entidad de IA son recurrentes, formulando preguntas al espectador que irán encaminadas a conseguir una respuesta posterior en él: «de alguna forma la secuencia de preguntas lógicas funciona como lo hacen las preguntas de los mentalistas» (comunicación personal, Asad J. Malik, 19 de agosto de 2020). El simple hecho de mencionar determinados elementos clave hará que el espectador tenga en mente ciertas respuestas que desencadenan determinadas acciones en la experiencia.

Malik parece distinguir entre la escena, donde habitan los personajes de la acción, el escenario del cuento de hadas que relata la madre y el espacio en el que la entidad hace las preguntas.

En estos distintos escenarios el espectador puede hacer distintas acciones: